Sau khi chiến thắng trước Mã Siêu và bình định được vùng Lương Châu, Tào Tháo rút quân về phía Đông. Trước khi đi, ông ta cắt cử các thuộc hạ thân tín trấn giữ các cứ điểm ở vùng Lũng Thượng. Quan trấn thủ ở vùng Lũng Thượng là Dương Phụ cảnh báo với Tào Tháo về mối nguy hiểm thường trực của Mã Siêu đối với an ninh của vùng Lũng Thượng: "Siêu có cái dũng của Tín, Bố,[18] rất được lòng người Khương, Hồ. Ví như đại quân quay về, nơi đây chẳng thể phòng bị nghiêm ngặt, các quận Lũng thượng sẽ chẳng còn của quốc gia nữa."[19] Tuy vậy, tình thế buộc Tào Tháo phải rút quân về phía Bắc, bỏ lõng mặt trận ở Lũng Thượng. Việc phòng bị không thể nghiêm ngặt như trước mà giao cho các viên quan ở địa phương này phụ trách.

Tập kích Lũng Thượng

Nhân cơ hội, Mã Siêu lúc này đang tị nạn ở lãnh thổ của dân tộc Nhung và xây dựng lực lượng chờ ngày báo thù, phục hận lập tức đốc xuất quân đội của bộ tộc này tấn công các quận, huyện của ở Lũng thượng để tái chiếm vùng này. Mã Siêu vốn có uy tín đối với các dân tộc thiểu số ở vùng này nên khi hiệu triệu lực lượng và phát động chiến tranh, các quận huyện Lũng thượng đều hưởng ứng. Năm 212, quân nổi dậy dưới sự lãnh đạo của Mã Siêu đã tấn công quyết liệt vào các thành trì của nhà Hán, chỉ trừ Ký Thành là nơi cuối cùng mà các quan viên Lương châu cố thủ.

Đánh chiếm Ký Thành, giết cả nhà Vi Khang

Siêu nắm hết quân đội Lũng Hữu, lại được Trương Lỗ sai đại tướng trợ giúp, có hơn vạn người, đến đánh Ký Thành. Dương Phụ cùng em họ Dương Nhạc huy động con em tông tộc tòng quân, được hơn ngàn người chống lại Mã Siêu. Từ tháng giêng đến tháng 8 năm Kiến An thứ 17 (212) quân Hán kiên thủ, không có viện binh. Quan biệt giá Diêm Ôn lặn dưới hào nước đi cầu cứu, bị Mã Siêu bắt được. Siêu dùng mọi thủ đoạn để dụ dỗ người này làm nội ứng chỉ đường xâm nhập thành nhưng đã bị từ chối kịch liệt. Mã Siêu nổi giận giết Diêm Ôn, và tiếp tục chiến dịch bao vây thành.

Các quan thứ sử, thái thú sợ hãi, muốn đầu hàng. Dương Phụ gào khóc can ngăn, nhưng bọn họ không nghe, mở cửa thành đón Mã Siêu. Siêu vào thành liền bắt giữ Dương Nhạc, giết luôn thái thú và cả nhà thứ sử Vi Khang hơn bốn mươi người. Sau khi chiếm cứ được Ký thành, lực lượng của Mã Siêu trở nên lớn mạnh hơn hẳn khiến ông ta nghĩ đến việc khôi phục lại Tây Lương và tấn công vào nhà Hán một lần nữa. Mã Siêu tự xưng là Chinh Tây tướng quân, tự lĩnh chức Tinh Châu mục, đốc xuất việc quân ở Lương châu.[2] Dưới trướng của Mã Siêu còn có Mã Đại và Bàng Đức, Bàng Đức được giao phụ trách việc phòng thủ Ký Thành.[3]

Mất Ký Thành, nương nhờ Trương Lỗ

Vì cần có nhân sự để tổ chức xây dựng lực lượng nên Mã Siêu đã chấp nhận và trọng dụng những hàng tướng và thân cận cũ của Vi Khang như Triệu Ngang, Khương Tự, Lương Khoan, Triệu Cù và Dương Phụ. Tuy nhiên, những viên quan người Hán này vẫn một lòng muốn báo thù cho cả nhà Vi Khang, âm thầm câu kết với nhau lập kế hoạch chống lại Mã Siêu. Mã Siêu bắt con của Triệu Ngang là Triệu Nguyệt làm con tin để ép Ngang phải phục tùng mình. Triệu Ngang về hỏi ý vợ là Vương Dị, vợ nói: "Đem thân vì trung nghĩa, rửa nỗi nhục lớn cho chủ cha, vùi thân mình còn chẳng cho là trọng, huống chi là một đứa con?" Triệu Ngang bèn quyết tâm đánh Mã Siêu.

Dương Phụ và Lương Tự khởi binh tại Lỗ Thành, một địa điểm quan trọng cạnh Ký thành. Mã Siêu trúng kế, huy động toàn bộ lực lượng tiến đánh nhằm tái chiếm Lỗ Thành, và giao Ký Thành cho Lương Khoan, Triệu Cù canh giữ. Dương Phụ và Lương Tự phòng thủ vững vàng, Mã Siêu không công hạ được Lỗ Thành, phải dẫn binh mã quay về Ký Thành để tổ chức lại lực lượng. Nhưng khi về đến Ký Thành thì Lương Khoan, Triệu Cù đã làm phản, kiểm soát được Ký Thành và ra lệnh đóng chặt cửa, giết vợ con của Mã Siêu để báo thù cho cả nhà thứ sử Vi Khang.

Cuồng sát Lịch Thành, giết người già trẻ nhỏ

Mã Siêu chạy đến Lịch Thành, lính giữ thành lầm tưởng là quân triều đình nên mở cửa cho vào, Siêu vào thành đem con tin Triệu Nguyệt là con Triệu Ngang đi giết, rồi đến nhà Khương Tự bắt được mẹ già của ông ta. Bị bà ta quát mắng là "phản thần tặc tử trời đất không dung", Siêu liền chém chết tươi, sau đó giết cả con trai nhỏ của Tự. Mã Siêu tiếp tục tìm giết cả nhà Doãn Phụng, rồi điên cuồng tàn sát nhân dân, "giết từ cửa nam giết đi, nhân dân trong thành sạch nhẵn".

Dương Phụ cùng Mã Siêu giao chiến, trên mình chịu 5 vết thương, con em họ hàng chết mất 7 người. Cùng thời gian này, Tào Tháo cũng phái binh mã do Trương Hợp cùng Hạ Hầu Uyên tấn công các dư đảng còn sót lại ở vùng Tây Lương, đánh dẹp Lương Hưng cùng rợ Đê ở Vũ Đô. Trương Hợp nhân cơ hội dẫn quân tấn công Mã Siêu.[20]

Mất Ký Thành, chỗ đóng trú cho toàn quân, cũng như vấn đề hậu cần, lương thảo, Mã Siêu lâm vào tình thế tiến thoái lưỡng nan dẫn đến việc thất bại nặng nề tại Lũng Thượng buộc ông cùng với Mã Đại, Bàng Đức đành phải chạy vào Hán Trung nương nhờ lãnh chúa Trương Lỗ.[19]